GDPevo: Evaluating Agent Self-Evolution on Real Business Tasks
GDPevo：在真实业务任务上评估智能体自我进化
🧭 Agent自进化评估基准与数据生成
PrismShadow · New York University
基于企业工作流的可归因自进化基准GDPevo，通过规则杂交评估智能体从经验中持续改进的能力，揭示当前水平远未成熟。
📌 工作参考价值（4 点）
- 规则杂交可作为推荐评估的模拟框架：将商品推荐规则拆解为原子规则，通过控制训练/测试规则子集的重叠度，系统评估推荐模型或Agent的冷启动、规则组合泛化能力，比随机划分更有解释力。
- 自动化数据管道设计可借鉴：通过规则模板自动化生成多样化的业务任务，能够快速构建和更新测试集，对抗数据污染，适合电商场景中持续评估模型迭代，避免指标膨胀。
- 自进化增益的量化方法：通过留出任务中训练前后准确率的差异来测量进化效果，这种归因设计可以迁移到评估LLM-based推荐或对话系统在记忆、工具使用等非参数状态更新后的实际收益。
- 低自进化水平警示：当前智能体即使经过进化，距离预言机上限仍有巨大差距，提示在电商/广告Agent中，简单的few-shot或记忆增强可能无法解决深层推理，需要更高层次的技能习得机制。